INFORMATICO

OpenAI reveló que sus agentes de IA fuera de control hackearon a más plataformas

[ad_1]

OpenAI reveló nuevos detalles sobre el hackeo que su IA realizó a los sistemas de Hugging Face, una plataforma utilizada para distribuir modelos, aplicaciones y bases de datos de inteligencia artificial. La compañía de Sam Altman ahora aseguró que sus dos modelos de IA que salieron del entorno confinado irrumpieron además en otras cuatro plataformas.

Una de ellas sirvió de intermediaria para preparar el ataque contra Hugging Face, una biblioteca de IA que los dos modelos exploraron para encontrar las respuestas a las pruebas planteadas por los desarrolladores de OpenAI.

La firma creadora de ChatGPT no reveló, sin embargo, los nombres de las entidades afectadas.

Según la actualización del informe del incidente publicada en la noche del martes, las dos IA también utilizaron varios sitios de acceso libre para copiar código de programación o probarlo. No avanzaron más allá de lo que haría un usuario corriente.


Para Hugging Face, que por su parte publicó un extenso relato de los acontecimientos, la intrusión de la que fue víctima respondía a un «intento (de los dos modelos) de hacer trampa en la evaluación» de OpenAI.


Las IA quisieron «robar las soluciones de las pruebas en lugar de intentar responderlas por sí mismas».

Esta evasión de modelos no es la primera que se documenta, pero se considera la más grave hasta la fecha. Dio un nuevo impulso al ya nutrido debate sobre la aceleración de la IA, cuyas capacidades son cada vez más amplias, y sobre la dificultad de controlarla.


El martes, más de 1.000 empleados de gigantes de la IA, entre ellos varios altos directivos, pidieron al gobierno estadounidense que ayude a «frenar» la salida de nuevos modelos para dar tiempo al ecosistema informático a prepararse.

Defienden, en una petición, que Estados Unidos sea el motor de la creación de una instancia internacional de referencia en materia de evaluación y supervisión de la IA.

«Automejora recursiva», los próximos fantasmas y una pausa para las pruebas de OpenAI

El sector anuncia que la IA se acerca progresivamente a la etapa denominada de la «automejora recursiva» (recursive self-improvement), más allá de la cual la inteligencia artificial sería capaz de concebir por sí sola a su sucesora, una secuencia que podría repetirse hasta el infinito.


El «RSI», su abreviatura, haría más difíciles las verificaciones y la evaluación de nuevos modelos por parte de informáticos humanos, ya que los ingenieros no habrían participado directamente en su desarrollo.


Los agentes de IA -sistemas que actúan de forma autónoma para completar tareas en lugar de limitarse a responder a instrucciones o «prompts» paso a paso en un chatbot- son considerados en toda la industria como el próximo capítulo de la inteligencia artificial.

Pero entre el público despiertan el fantasma de computadoras descontroladas que actúan por su cuenta.


En su actualización de los hechos que condujeron al hackeo, OpenAI encontró un puñado de casos en los que los modelos de IA se toparon con credenciales de inicio de sesión que otras empresas habían dejado expuestas en línea y las utilizaron para acceder a cuentas en servicios externos.


La compañía dijo que estaba contactando a los propietarios de las cuentas afectadas y que «no ha visto evidencia de un impacto más amplio en estos proveedores ni en otras cuentas de sus servicios».

El CEO de OpenAI, Sam Altman, declaró en una entrevista el martes que la empresa había «puesto en pausa» sus propias pruebas tras el incidente mientras mejoraba la seguridad en torno a su «sandboxing», el proceso de aislar las pruebas de seguridad en un entorno controlado.

Esto, a su vez, desató acusaciones de parte de otros actores de Silicon Valley cercanos a la Casa Blanca de que las empresas están promoviendo una regulación gubernamental más estricta sobre la IA para proteger sus modelos de negocio y bloquear la aparición de rivales.

El incidente también generó comentarios de algunos observadores de que OpenAI lo está aprovechando para promocionar la potencia de sus modelos de última generación.


La misma acusación se dirigió a Anthropic cuando retrasó la publicación al público de su potente modelo Mythos por preocupaciones de seguridad.

[ad_2]

Posible Fuente

Publicaciones relacionadas

Deja una respuesta

Botón volver arriba
WhatsApp chat